Die Truppen des III. und V. Korps waren in Auflösung und flohen nach starken Verlusten in Richtung der nördlich der Tops liegenden Cemetery Ridge, des wegen des ‘High Grounds’ am Peach Orchard am Mittag von Sickles aufgegebenen Gebietes. Eine von Meade befohlene Verstärkung aus dem II. Korps, Brigadegeneral John C. Caldwells Division, erreichte gegen 18:00 Uhr den Kampfraum, und es gelang, den Angriff der konföderierten Armee kurzfristig zu stoppen.

Die Konföderierten griffen gegen 19:30 Uhr erneut durch das Wheatfield an und wurden wiederum durch einen Gegenangriff am nördlichen Ende des Little Round Top abgewehrt. Die dritte für den Angriff bereitgestellte Division Andersons aus A.P. Hills Korps begann den Angriff nördlich Peach Orchard gegen die rechte Flanke von Sickles Korps gegen 18:00 Uhr. Die beiden dort eingesetzten Unions-Brigaden mussten ausweichen. Diese Ausweichbewegung war der Auslöser für den Zusammenbruch des gesamten rechten Flügels des III. Korps.

Um Zeit für die Vorbereitung der Verteidigung entlang Cemetery Ridge zu schaffen, befahl der Kommandierende General des II. Korps, Generalmajor Winfield S. Hancock, dem 1. Minnesota Regiment, die angreifenden Konföderierten durch einen Gegenangriff aufzuhalten. Trotz erdrückender Überlegenheit der Südstaatler trat das Regiment an und verlor innerhalb weniger Minuten 224 von 262 Mann, den prozentual höchsten Verlust, den jemals ein Regiment der US-Armee erlitten hatte und erleiden sollte. Wilcox' Südstaatenbrigade wurde gestoppt.

Die beiden anderen am linken Flügel von Andersons Division eingesetzten Brigaden fanden jedoch schnell die Lücke, die sich durch den Zusammenbruch ergeben hatte, und drängten auf Cemetery Ridge. Für einige Zeit waren dort General Meade und sein Stab die einzigen Verteidiger der Union. Ob die Südstaatler die Kuppe der Cemetery Ridge erreicht hatten, ist historisch umstritten – vieles spricht jedoch dafür.

Brigadegeneral Ambrose Wright konnte die Höhe jedoch nicht halten, da er keine Verstärkungen erhielt. Die links von Wright eingesetzten Brigaden gingen nur zögernd vor oder blieben stehen. Sogar den ausdrücklichen Befehl Andersons, weiter vorzugehen, ignorierte einer der Brigadekommandeure. Schließlich musste Wright wieder auf die Emmitsburg Road ausweichen.